Volver loco significa que la persona que te halla dicho eso le estás volviendo loco o le estás haciendo enfadar por eso te lo dice. Eso se refiere a qué haces cosas locas o qué haces cosas feas como gritar y una persona te dice :¡me estás volviendo loco!
"¡Jolínes! Puedes parar me estás volviendo loco"